DuoMem: Towards Capable On-Device Memory Agents via Dual-Space Distillation
DuoMem：双空间蒸馏赋能边端记忆智能体
🧭 智能体记忆蒸馏 · 边端部署
Samsung R&D Institute UK · Queen Mary University of London
通过上下文与参数双空间蒸馏，将大模型过程记忆能力迁移至小模型，4B模型成功率从4.3%升至77.9%，速度提升3倍
📌 工作参考价值（4 点）
- 上下文蒸馏可迁移至对话式推荐：用大模型为历史交互生成优质推理记忆（如用户偏好演化链），将其作为前缀注入小模型，提升多轮推荐一致性。
- 参数蒸馏成本极低：仅用教师成功轨迹微调LoRA，参数增量<10M，可快速适配现有电商或搜索智能体的规划模块。
- 双空间协同效果突出：单独上下文或参数蒸馏效果有限，两者合并产生互补增益；在构建推荐Agent时，可同时注入教师记忆并微调编解码器。
- 边端实时性提升：蒸馏后小模型推理速度大幅提高，适合手机端或低延迟场景下的个性化推荐回复生成。